Nguyên tên Việt Nam của cô là Nguyễn-Phạm Phượng-Tú, sinh năm 1975 tại Nha Trang, Việt Nam.[2] Cô là con thứ 5 trong gia đình có chín người con. Cha cô, Nguyễn Nho, là một ngư dân và mẹ cô tên Đặng.[3] Cô và gia đình vượt biên khỏi Việt Nam bằng thuyền, khi đó cô mới chỉ 4 tuổi. Ban đầu gia đình cô được tái định cư ở một trại tị nạn ở Philippines cho đến khi một gia đình theo Giáo hội Luther ở Scottsdale, Arizona, tài trợ cho họ để đến Hoa Kỳ đầu những năm 1980. Cha cô làm việc gác cổng, nhận được tiền lương $10/hour để nuôi vợ và 9 người con. Cuối cùng, ông chuyển cả gia đình tới Modesto, California để tìm kiếm mức lương cao hơn từ công việc hái hoa quả trong các thung lũng Central Valley; Madison đã làm việc cùng ông trên các cánh đồng khi cha cô còn trai tráng.

Nguyễn nói rằng, cô thẳng thắn hơn so với hầu hết các cô gái cùng văn hóa của mình, đồng nghiệp người Mỹ gốc Á thường nhạo báng gọi cô là "quả chuối", vàng bên ngoài nhưng trắng bên trong. Cô mang quốc tịch Hoa Kỳ vào khoảng 18 tuổi, chọn tên "Madison". Trong nhiều nguồn khác nhau, cô đã tuyên bố rằng cô chọn tên này là do cố Tổng thống James Madison hay Daryl Hannah, nhân vật trong bộ phim Splash, cô cảm thấy nó phản ánh được mong muốn của mình bằng cảm nhận sự tinh tế. Cô tiếp tục học và nhận được bằng Cử nhân nghệ thuật trong lịch sử từ Đại học California, Santa Cruz và bằng thạc sĩ Khoa học Xã hội từ Đại học Chicago. Năm 2000 cô trở về California để theo đuổi bằng tiến sĩ xã hội học tại Đại học UC Santa Cruz.